لطفا جهت اطلاع از آخرین دوره ها و اخبار سایت در
کانال تلگرام
عضو شوید.
آموزش پردازش جریان بیدرنگ با استفاده از Apache Spark 3 برای توسعه دهندگان پایتون [ویدئو]
Real-Time Stream Processing Using Apache Spark 3 for Python Developers [Video]
نکته:
آخرین آپدیت رو دریافت میکنید حتی اگر این محتوا بروز نباشد.
نمونه ویدیوها:
توضیحات دوره:
اولین قدم های خود را برای کشف، یادگیری و استفاده از Apache Spark 3.0 بردارید. ما در این دوره با ساختار دقیق، یک رویکرد برنامه نویسی زنده را در پیش خواهیم گرفت و تمام مفاهیم اصلی مورد نیاز در طول مسیر را توضیح خواهیم داد.
در این دوره، مفاهیم پردازش جریان بلادرنگ، APIهای جریان ساختاری Spark و معماری را درک خواهیم کرد.
ما با جریان های فایل، منبع کافکا و ادغام Spark با کافکا کار خواهیم کرد. در مرحله بعد، ما در مورد تحولات جریان بدون حالت و کامل یاد خواهیم گرفت. سپس سنگدانه های پنجره را با استفاده از Spark stream بپوشانید. در مرحله بعد، ما واترمارکینگ و پاکسازی حالت را پوشش خواهیم داد. پس از آن، پیوستنها و تجمیع جریانها را پوشش میدهیم و مشکلات حافظه را با پیوستنهای جریانی حل میکنیم. در نهایت، یاد بگیرید که سینک های جریان دلخواه ایجاد کنید.
در پایان این دوره، شما قادر خواهید بود با استفاده از آپاچی اسپارک، اپلیکیشن های پردازش جریانی را در زمان واقعی ایجاد کنید.
تمام منابع دوره در https://github.com/PacktPublishing/Real-time-stream-processing-using-Apache-Spark-3-for-Python-developers موجود است.
پنجرهبندی مصالح با استفاده از جریان اسپارک
Watermarking و پاکسازی حالت را یاد بگیرید
پیوستن ها و تجمیع های جریانی را پیاده سازی کنید
رسیدگی به مشکلات حافظه با پیوستن به جریان
آموزش ایجاد سینک های جریان دلخواه این دوره برای مهندسان نرم افزار و معمارانی طراحی شده است که مایل به طراحی و توسعه پروژه های مهندسی داده های بزرگ با استفاده از Apache Spark هستند. همچنین برای برنامه نویسان و توسعه دهندگانی طراحی شده است که مشتاق رشد و یادگیری مهندسی داده با استفاده از Apache Spark هستند.
برای این دوره، باید اصول Spark را بدانید و باید در معرض Spark Dataframe APIs قرار بگیرید. همچنین، شما باید اصول کافکا را بشناسید و دانش کاری از آپاچی کافکا داشته باشید. همچنین باید دانش برنامه نویسی برنامه نویسی پایتون را داشته باشد. مفاهیم پردازش جریان در زمان واقعی را بیاموزید * APIها و معماری جریان ساختار یافته Spark را درک کنید * با جریان های فایل، منبع کافکا و ادغام Spark با کافکا کار کنید
سرفصل ها و درس ها
قبل از اینکه تو شروع کنی
Before you Start
درباره دوره
About the Course
پیش نیازهای دوره
Course Prerequisites
محیط خود را تنظیم کنید
Setup your Environment
محیط توسعه جرقه
Spark Development Environment
کاربر ویندوز - پیش نیازهای نصب Spark
Windows User - Spark Installation Prerequisites
کاربر ویندوز - نصب Apache Spark
Windows User - Installing Apache Spark
کاربر ویندوز - IDE خود را تنظیم و آزمایش کنید
Windows User – Set Up and Test your IDE
کاربر مک - نصب Apache Spark
Mac User - Installing Apache Spark
کاربر مک - IDE خود را تنظیم و آزمایش کنید
Mac User – Set Up and Test your IDE
آپاچی کافکا را نصب و اجرا کنید
Install and Run Apache Kafka
شروع کار با جریان ساختار یافته Spark
Getting Started with Spark Structured Streaming
مقدمه ای بر پردازش جریانی
Introduction to Stream Processing
Spark Streaming API - DSstream در مقابل جریان ساختاری
Spark Streaming APIs - DStream Versus Structured Streaming
ایجاد اولین برنامه پردازش جریان شما
Creating your First Stream Processing Application
مدل پردازش جریان در Spark
Stream Processing Model in Spark
کار با فایل ها و دایرکتوری ها
Working with Files and Directories
منابع جریان، سینک ها و حالت خروجی
Streaming Sources, Sinks and Output Mode
تحمل خطا و راه اندازی مجدد
Fault Tolerance and Restarts
جریان جرقه با کافکا
Spark Streaming with Kafka
پخش از منبع کافکا
Streaming from Kafka Source
کار با کافکا سینک
Working with Kafka Sinks
برنامه جریان های چند پرس و جو
Multi-Query Streams Application
سریال سازی کافکا و سریال زدایی برای اسپارک
Kafka Serialization and Deserialization for Spark
ساخت سینک های Kafka AVRO
Creating Kafka AVRO Sinks
کار با منبع Kafka AVRO
Working with Kafka AVRO Source
پنجره ها و مصالح
Windowing and Aggregates
دگرگونی های بی تابعیت در مقابل تحولات دولتی
Stateless Versus Stateful Transformations
زمان رویداد و پنجره
Event Time and Windowing
جمع کردن پنجره غلتشی
Tumbling Window Aggregate
واترمارک کردن ویندوز شما
Watermarking your Windows
حالت های واترمارک و خروجی
Watermark and Output Modes
پنجره کشویی
Sliding Window
پردازش جریانی و پیوستن
Stream Processing and Joins
پیوستن جریان به منبع استاتیک
Joining Stream to Static Source
پیوستن به جریان به جریانی دیگر
Joining Stream to Another Stream
پخش واترمارک
Streaming Watermark
پخش جریانی اتصالات خارجی
Streaming Outer Joins
به یادگیری ادامه دهید
Keep Learning
کلمه پایانی
Final Word
نمایش نظرات
Packtpub یک ناشر دیجیتالی کتابها و منابع آموزشی در زمینه فناوری اطلاعات و توسعه نرمافزار است. این شرکت از سال 2004 فعالیت خود را آغاز کرده و به تولید و انتشار کتابها، ویدیوها و دورههای آموزشی میپردازد که به توسعهدهندگان و متخصصان فناوری اطلاعات کمک میکند تا مهارتهای خود را ارتقا دهند. منابع آموزشی Packtpub موضوعات متنوعی از جمله برنامهنویسی، توسعه وب، دادهکاوی، امنیت سایبری و هوش مصنوعی را پوشش میدهد. محتوای این منابع به صورت کاربردی و بهروز ارائه میشود تا کاربران بتوانند دانش و تواناییهای لازم برای موفقیت در پروژههای عملی و حرفهای خود را کسب کنند.
ScholarNest یک تیم کوچک از افرادی است که با پر کردن شکاف بین مهارتهای موجود و مورد نیازشان، علاقه زیادی به کمک به دیگران برای یادگیری و رشد در حرفهشان دارند. آنها با هم بیش از 40 سال تجربه در فناوری اطلاعات به عنوان توسعه دهنده، معمار، مشاور، مربی و مربی دارند. آنها با سازمان های خدمات نرم افزاری بین المللی در پروژه های مختلف داده محور و کلان داده کار کرده اند. این تیمی متشکل از اعتقاد راسخ به یادگیری مستمر مادام العمر و توسعه مهارت است. برای محبوب کردن اهمیت یادگیری مداوم، آنها شروع به انتشار فیلم های آموزشی رایگان در کانال یوتیوب خود کردند. آنها مفهوم یادگیری مستمر را مفهومسازی کردند و مجلهای از یادگیری ما را تحت عنوان مجله یادگیری ایجاد کردند.
نمایش نظرات